Hardware-Abbildung eines videobasierten Verfahrens zur echtzeitfähigen Auswertung von Winkelhistogrammen auf eine modulare Coprozessor-Architektur

(English version) This paper presents the mapping of a video-based approach for real-time evaluation of angular histograms on a modular coprocessor architecture. The architecture comprises several dedicated processing elements for parallel processing of computation-intensive image processing tasks and is coupled with a RISC processor. A configurable architecture extension, especially a processing element for evaluating angular histograms of objects in conjunction with a RISC processor, provides a real-time classification. Depending on the configuration of the architecture extension, 3 300 to 12 000 look-up tables are required for a Xilinx Virtex-5 FPGA implementation. Running at a clock frequency of 100 MHz and independently of the image resolution per frame, 100 objects of size 256×256 pixels are analyzed in a 25 Hz video stream by the architecture. Correspondence to: H. Flatt ([email protected]) 1 Einleitung In den vergangenen Jahren haben die Anforderungen an intelligente Bildund Videoverarbeitungsverfahren kontinuierlich zugenommen. Die fortschreitende Technologie ermöglicht es, komplexe Algorithmen auf eingebettete Systeme abzubilden. Insbesondere an mobile Systeme werden hohe Anforderungen gestellt, wenn die Datenverarbeitung in Echtzeit erforderlich ist. Ein vielseitiges Teilgebiet der Bildverarbeitung ist die Objekterkennung. Anwendungen existieren in verschiedensten Bereichen. So kann beispielsweise die Erkennung von Fahrbahnrändern im Kfz die Grundlage von Fahrerassistenzsystemen bilden (Schönfeld, 1994; Yu et al., 2008). Im Bereich der Luftbilder unterstützen automatische Verfahren das Auffinden besonderer Objekte wie z.B. Flughäfen (Liu et al., 2004), Minen (Messelink et al., 2002) oder Fahrzeugen (Greenberg et al., 2005). Das Bildmaterial stammt sowohl von optischen, als auch von thermischen und Radar-Sensoren. Alle diese Anwendungsbeispiele basieren auf einer automatisierten Objekterkennung und -klassifikation. Die ihnen zugrunde liegenden Verfahren sind meist sehr rechenaufwändig und benötigen entweder sehr schnelle General Purpose Prozessoren, digitale Signalprozessoren oder dedizierte Hardware-Einheiten. Insbesondere in der mobilen Anwendung ist erstere Lösung aufgrund der hohen Leistungsaufnahme derartiger Prozessoren jedoch häufig nicht anwendbar. Da die Objekterkennung meist aus mehreren Algorithmen besteht, ist auch eine hohe Flexibilität notwendig, die eine reine Hardware-Lösung nicht immer bieten kann. Als geeignete Alternative bieten sich hybride RISC/CoprozessorSysteme an. Der RISC-Prozessor bietet die erforderliche Flexibilität, während der Coprozessor spezielle dedizierte Recheneinheiten zur Prozessierung zeitkritischer Algorithmen enthält. Published by Copernicus Publications on behalf of the URSI Landesausschuss in der Bundesrepublik Deutschland e.V. 136 H. Flatt et al.: Echtzeitfähige Auswertung von Winkelhistogrammen Die in Flatt et al. (2009a) dargestellte modulare Coprozessor-Architektur eignet sich für Objekterkennungsapplikationen, wie die Erkennung von Fahrzeugen auf geraden Autobahnabschnitten in Luftbildern. Der Coprozessor ermittelt Objektkandidaten basierend auf Basisoperationen der Bildverarbeitung und berechnet für diese Merkmale, wie Objektgröße, Position und Exzentrizität. Anhand dieser Merkmale entscheidet der RISC-Prozessor, ob es sich um ein Fahrzeug handelt oder nicht. Diese Merkmale allein sind nicht ausreichend für eine zuverlässige Fahrzeugerkennung. Speziell Fahrbahnmarkierungen und Schatten auf der Fahrbahnoberfläche stellen eine Herausforderung an das Objekterkennungsverfahren dar. Um die Erkennungsleistung zu optimieren, ist es erforderlich, aufwändigere Analyseverfahren zu verwenden, die aber lediglich von sehr komplexen Hardware-Architekturen in Echtzeit verarbeitet werden können. Für diese Aufgabe gibt es bereits eine Vielzahl unterschiedlicher Ansätze, die sich durch diverse Vorund Nachteile bezüglich ihrer Flexibilität, Geschwindigkeit und ihres erforderlichen Hardware-Aufwandes auszeichnen. Eine sehr hohe Erkennungsleistung bieten Verfahren, wie Scale Invariant Feature Transform (SIFT) (Lowe, 2004) und Histogram of Orientated Gradients (HOG) (Dalal et al., 2006), welche jedoch einen vergleichsweise hohen Rechenaufwand erfordern. Die sogenannten Template-Matching-Verfahren weisen eine deutlich geringere algorithmische Komplexität auf, da sie das zu analysierende Objekt lediglich mit einer Anzahl von Referenzbildern vergleichen. Der Vergleichswert bildet ein Ähnlichkeitsmaß bezüglich zweier Bilder. Der Aufwand für eine Hardware-Implementierung ist gering (Flatt et al., 2007), jedoch ist eine große Menge an Vergleichsdaten notwendig, um eine akzeptable Erkennungsleistung zu erhalten. Daher ist auch hier ein hoher Gesamtrechenaufwand erforderlich. Das Verfahren von Korn (1998) vereint einige Vorteile der oben genannten Verfahren. Obwohl algorithmische Komplexität und Hardware-Implementierungsaufwand gering sind, ist der Algorithmus, ähnlich dem SIFT-Verfahren, skalierungsund rotationsinvariant. Der Ansatz des Verfahrens besteht darin, Richtungsinformationen innerhalb des Quellbildes statistisch zu analysieren und anhand von gegebenen Referenzdaten eine Klassifikation vorzunehmen. Dies ermöglicht beispielsweise in der Fahrzeugerkennung aus Luftbildern die Unterscheidung zwischen PKW, LKW und Störobjekten. Dieser Beitrag zeigt die Hardware-Umsetzung eines auf dem Ansatz von Korn (1998) basierenden Verfahrens. Die Berechnungen erfolgen ausschließlich auf der Basis von Festpunktarithmetik. Der Vergleichsaufwand mit den Referenzbildern wird durch Vorwissen über die Objektform reduziert. Der Schwerpunkt dieses Beitrages liegt in der Hardware-Umsetzung mit dem Ziel, eine Vielzahl von Regions-of-Interest in Videosequenzen Schritt haltend analysieren zu können. Gradientenfilter Histogrammerstellung